Em 13 de março, a Sesame lançou seu mais recente modelo de síntese de voz, o CSM, chamando a atenção da indústria. De acordo com a empresa, o CSM emprega uma arquitetura de aprendizado multimodal baseada em Transformer de ponta a ponta, capaz de entender o contexto e gerar fala natural e emocional, com resultados impressionantes de realismo. O modelo suporta geração de voz em tempo real, processando entradas de texto e áudio. Os usuários também podem controlar características como tom, entonação, ritmo e emoção ajustando parâmetros, demonstrando alta flexibilidade. O CSM é considerado uma inovação na tecnologia de voz com IA.

O UP do B站 “小虫哥_” lançou um vídeo de criação secundária de Genshin Impact, imitando a personagem Nahida, mantendo a voz original, com mais de 1,36 milhão de visualizações. O UP utilizou o modelo de síntese de voz VITS, carregando texto de voz para extrair características linguísticas e preservar o tom de voz único dos personagens de Genshin Impact. A tecnologia de clonagem de voz de IA já se popularizou, com ferramentas como HeyGen e AI Dubbing reduzindo a barreira de entrada. A atualização da tecnologia de IA atrai a atenção dos criadores, sendo crucial a criação de obras originais em termos de conteúdo e formato. O artigo explora os princípios do modelo VITS.